El sesgo de inducción en modelos secuenciales
Investigación muestra que los transformers requieren más datos que las RNN para seguimiento de estado y no comparten pesos entre longitudes. Descubre las diferencias clave.
#extrapolación de longitud
No leas todo: Consulta condicionada por curvatura para atención lineal
Mejora la recuperación en contexto y la extrapolación de longitud en atención lineal usando una consulta condicionada por curvatura (CCQ), con bajo costo adicional.